# 并行化集合

# from pyspark.sql import SparkSession
# # 虚拟机测试
# # spark = SparkSession.builder.appName("实例1").master("spark://scau.test.com:7077").getOrCreate()
# # 这里用本地地址（也可以在master里面修改地址）
# spark = SparkSession.builder.appName("实例1").master("local[*]").getOrCreate()
# # 实例化，让该对象调用一些接口
# sc = spark.sparkContext
# # 测试数据
# data = [1, 2, 3, 4, 5]
# rdd = sc.parallelize(data)
# print("test spark rdd :", rdd)

# 读取json格式文件
from pyspark.sql import SparkSession
import json

spark = SparkSession.builder.appName("实例1").master("local[*]").getOrCreate()
sc = spark.sparkContext

inputFile = "file:///E:/PyCharm/PythonFolder/json/test.json"
# sc来读取文件，存到jsonStrs里面
jsonStrs = sc.textFile(inputFile)
# json变成rdd，进行打印进行打印
result = jsonStrs.map(lambda s: json.loads(s))
result.foreach(print)